Quân đội nhà Nguyễn càng ngày càng lạc hậu do các vị vua sau này không quan tâm mấy đến việc võ bị. Dưới thời Tự Đức, công tác quốc phòng của nhà Nguyễn có sự tương phản rõ rệt với các triều trước. Một trong các lý do khiến tình hình quân đội suy sút là vấn đề tài chính. Thời kỳ Gia Long hay Minh Mạng, lấy phương Tây làm kiểu mẫu cho việc tổ chức quân đội, hướng đến việc quân cần tinh nhuệ, không cần nhiều, bỏ bớt số lượng người cầm cờ từ 40 người xuống 2 người trong đội ngũ đơn vị 1 vệ. Còn sang thời Tự Đức, vũ khí và trang thiết bị làm mới gần như không có. Về thuỷ binh, không tàu hơi nước nào được đóng mới, thuỷ quân thậm chí không đủ khả năng bảo vệ bờ biển chống hải tặc. Việc giảng dạy binh pháp không chú trọng tới sách vở phương Tây nữa mà quay trở lại với Binh thư yếu lược của Trần Hưng Đạo. Đời sống quân lính không được quan tâm thoả đáng, lương thực lại bị ăn bớt. Do đó tinh thần chiến đấu của quân sĩ không cao.

Nhà sử học Trần Trọng Kim đã nhận xét về việc võ bị thời Tự Đức:[27]

Do quan điểm khoa học quân sự của vua quan nhà Nguyễn không hề vượt quá khuôn khổ của khoa học quân sự phong kiến. Việc không bắt kịp với thành tựu mới của khoa học phương Tây thời Tự Đức khiến quân sự Việt Nam bị lạc hậu nhiều so với phương Tây. Do đó, khi bị người Pháp đánh năm 1858, khoảng cách về trang thiết bị giữa quân đội nhà Nguyễn và quân Pháp đã khá xa.[28]